Varda có tên lúc sinh là Arlette Varda và sinh ngày 30 tháng 5 năm 1928 ở Ixelles, Brussels, Bỉ, mẹ là Christiane (nhũ danh Pasquet) và cha là Eugène Jean Varda, kỹ sư.[2] Mẹ của bà người quê Sète, Pháp, còn cha của bà thuộc dòng họ những người di cư Hy Lạp từ Tiểu Á. Bà là người con thứ 3 trong gia đình 5 người. Khi bà 18 tuổi, Varda thay đổi tên một cách đúng thủ tục pháp lý thành Agnès. Trong thế chiến II, Varda sống trên một chiếc thuyền ở Sète với gia đình. Varda theo học Lycée Victor-Duruy và có bằng cử nhân ngành văn học và tâm lý học từ Sorbonne.[3] Bà mô tả việc di chuyển đến Paris là một "nơi thực sự tuyệt vời" đã mang đến cho bà "một ký ức kinh hoàng về việc tôi đến thành phố buồn, vô nhân tính, xám xịt này". Bà không hòa đồng với các học sinh của mình tại Sorbonne và mô tả các lớp học ở đó là "ngu ngốc, cổ xưa, trừu tượng, [và] không phù hợp với nhu cầu cao cả mà người ta có ở tuổi đó."[4]